Learning Latent Reasoning Traces for Scalar Reward Models End-to-End
面向标量奖励模型的端到端隐式推理学习
🧭 奖励模型 · 隐变量训练 ★ 深度解读
Peking University · Tencent
将推理链视为隐变量，端到端最大化标量RM的数据似然，统一生成与判别目标，提升OOD泛化。
📌 工作参考价值（4 点）
- 搜索/推荐排序模型中的奖励建模：可借鉴隐变量框架，将生成式推理与标量打分联合优化，避免生成器与判别器目标割裂，提高打分的鲁棒性和分布外泛化能力。
- 简化训练流程：使用REINFORCE将生成器的优化目标直接对齐到下游标量RM的对数似然，无需外部教师模型或手工设计的奖励（如Kendall’s τ），减少超参数和数据处理开销。
- 数据清洗trick：利用浅层文本特征训练轻量MLP集成，过滤掉模型易拟合的简单样本（低损失），保留更具泛化价值的困难样本，可迁移到偏好数据或标注数据的质量筛选。
- 在线RLHF中的长度控制：LatentRM在RLHF中生成更短的回复，同时保持高胜率，有效抑制“奖励过度优化”和长度作弊，这对对话系统或生成式推荐中的对齐训练有借鉴意义。